Llamafile: Lokaler Chatbot mit einfacher Bedienung

Auf der Suche nach einem Chatbot für den Heimgebrauch?

Ich bin schon über GPT4All und das Llama Studio gestolpert? Dort gibt es zwar eine Fülle von Large Language Modellen, aber leider sind diese Lösungen nicht wirklich barrierefrei nutzbar.

Alternativen mit kostenfreiem Zugang:

https://huggingface.co/chat bietet verschiedene Modelle wie Mixtral von Mistral AI, Llama 2 von Meta oder Gema von Google. Wenn du dich für die Entwicklung in Sachen KI interessierst, ist Huggingface generell eine gute Anlaufstelle. Hier können verschiedene Projekte einfach getestet werden. Vieles ist barrierearm nutzbar.

Mir war es trotzdem wichtig, auch die Möglichkeit zu haben, ein LLM (Large Language Modell) auch lokal zu nutzen. Hier bin ich vor kurzem dann über das Projekt LLamafile von der Mozilla Foundation gestolpert. Mozilla setzt sich für die freie und offene Nutzung von KI ein.

Was ist Llamafile?

• Open-Source-Projekt

• Komprimiert komplexe LLM-Chatbots in eine ausführbare Datei

• Läuft lokal auf nahezu jedem modernen Computer

• Unterstützt die Open-Source-KI-Bewegung und ermöglicht lokale KI-Lösungen

• Vorteile:

  • Dezentralisierung und Privatisierung der KI-Nutzung

  • Volle Kontrolle über deine Daten und die Funktionsweise der KI

Technische Details und Funktionsweise:

• Entwickler können ihre Sprachmodelle als ausführbare Dateien (*.llamafile) verpacken.

• Läuft auf verschiedenen Betriebssystemen: Windows, Linux, macOS und BSD

• Einfacher Zugang ohne Python oder komplizierte Befehle

• Nutzt die GPU des Geräts, falls vorhanden, andernfalls die CPU

Modelle und Download:

Auf der GitHub-Seite des Projekts gibt es verschiedene Modelle zum Download. Ich habe für erste Tests das Modell LLaVA 1.5 genutzt.

Link: Mozilla Ocho/llamafile auf GitHub

Hinweise:

• Alle Modelle laufen unter macOS und Linux (ausführbar machen)

• Windows: Modelle bis 4 GB (Erweiterung .exe anhängen)

• Größere Modelle (z.B. Mixtral Construct): Windows Subsystem für Linux oder Linux-Installation

Barrierefreiheit:

Getestet habe ich mit dem Modell LLaVA (Large Language and Vision Assistant). Dieses Modell basiert auf Metas Llama2. Nach dem Start der Datei erscheint zuerst ein Terminalfenster, wo einige Informationen beim Start und während der Arbeit des Chatbots durchlaufen. Dieses Fenster muss auch geöffnet bleiben. Nach erfolgreichem Start wirst du von einer Weboberfläche begrüßt, die recht simpel aufgebaut ist. Es gibt einige Eingabefelder und Schiebeschalter, an denen wir erst einmal nicht herumspielen.

Das Eingabefeld für Fragen an den Bot lautet „say something“. Als Schaltflächen gibt es Send, upload Picture und Reset. Während der Bot arbeitet, gibt es noch eine Schaltfläche mit dem Namen „Stop“. Solange diese Schaltfläche zu hören ist, arbeitet der Bot an deiner Antwort. Das Navigieren durch die Antworten ist noch nicht so ganz schön gelöst. Aber mit etwas Einarbeitung findet man, was man braucht. Es können übrigens auch Bilder hochgeladen werden, zu denen man dem Bot dann Fragen stellen kann. Wie gut das funktioniert, habe ich noch nicht getestet.

Fazit:

Llamafile ist die eleganteste und einfachste Lösung für den lokalen Betrieb eines Chatbots. Mit dem Modell Mixtral 8b von Mistral AI kommst du nah an GPT 4 heran, ohne deine Daten an Unternehmen zu senden.